Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速
Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。
Stable Diffusion推理优化java实现
sd4j是一个使用ONNX Runtime的Stable Diffusion推理Java实现,以C#实现进行了优化移植,带有重复生成图像的图形界面,并支持负面文本输入。 旨在演示如何在Java中使用ONNX Runtime,以及获得良好性能的ONNX Runtime的最佳实践。 我们将使其与ONNX Runtime的最新版本保持同步,并随着通过ONNX Runtime Java API提供的性能相关ONNX Runtime功能的出现进行适当更新。 所有代码都可能会发生变化,因为这是一个代码示例,任何API都不应该被视为稳定的。
Digma runtime linter for identifying risky code and bottlenecks
Digma runtime linter lets developers quickly identify risky code, potential errors and bottlenecks in complex codebases. It integrates into IntelliJ IDE to continuously highlight issues, regressions, and problems as you code. With real-time insights, you can spot issues early and make necessary improvements. Digma also helps untangle legacy systems and provides critical analytics on usage errors and performance baselines. It enhances the GitOps cycle, making code review and pull request feedback easier for teams. Digma collects code runtime data using OpenTelemetry and offers a free version for developers to experiment with in a local environment.
© 2025 AIbase 备案号:闽ICP备08105208号-14